caffe imcol详解

本文讲解的是caffe中卷积过程,众所周知caffe中卷积采用的是im2col和sgemm的方式。网上已经有很多的im2col的讲解。原本不打算写这篇文章(在此不得不吐槽下,网上有不少的讲解caffe im2col的过程的文章多是错的。一些文章和caffe的具体实现对不上,真不知道他们到底有没有看caffe代码的具体实现,正是因为那些文章,浪费了不少时间。)

本文举例讲解caffe中im2col 和 sgemm的具体过程。在此之前先说明下:caffe中的数据是行优先(row-major)存储的。

im2col

一个图像 input_num=1;
图像通道 input_channel=1;
图像高 input_h=4;
图像宽 input_w=4;
kernel高 kernel_h=3;
kernel宽 kernel_w=3;
stride=1;pad=0;
卷积后,输出图像的计算公式:
output_h=(input_h-kernel_h)/stride+1;
output_w=(input_w-kernel_w)/stride+1;

如下图,(注:图像中数据不代表图像的颜色数值)

原图(图a)按照从左到右、从上到下的过程,将(a)中大小为3*3(因为kernel大小为3*3)的矩阵拉成右图(图b)中的一列。具体过程如下图所示:

多通道的im2col

假设有三个通道(R、G、B)图像通道 input_channel=3;

图像在内存中的存储是:首先是连续存储第一通道的数据,然后再存储第二通道的数据,最后存储第三通道的数据。如下图:

多通道的im2col的过程,是首先im2col第一通道,然后在im2col第二通道,最后im2col第三通道。各通道im2col的数据在内存中也是连续存储的。如下图:

kernel

图像的每个通道对应一个kernel通道,如下图(注:为计算简单,将kernel的值设置为1,同样此值不代表颜色数值。)

kernel的通道数据在内存中也是连续存储的。所以上面的kernel图像也可以表示为下图:

矩阵乘 sgemm

在caffe中图像与kernel的矩阵乘,是kernel*img。即:在矩阵乘法中

1
2
3
M=1,
N=output_h * output_w
K=input_channels * kernel_h * kernel_w

如下图所示:

图像数据是连续存储,因此输出图像也可以如下图所示【output_h * output_w】=【2*2】

多通道图像输出

在caffe中图像与kernel的矩阵乘中:

1
2
3
M=output_channels ,
N=output_h * output_w
K=input_channels * kernel_h * kernel_w

如下图:

同样,多个输出通道图像的数据是连续存储,因此输出图像也可以如下图所示【output_channels*output_h * output_w】=【3*2*2】,

参考

caffe im2col详解

------ 本文结束------
坚持原创技术分享,您的支持将鼓励我继续创作!

欢迎关注我的其它发布渠道